A transição fundamental em computação de alto desempenho envolve passar de um modelo de execução serial centrado no CPU para um modelo de produtor-consumidor desconectado, onde o CPU gerencia a pipeline enquanto o GPU opera de forma independente. A principal conclusão é que o GPU não foi feito para ser controlado como um dispositivo estritamente síncrono; tratá-lo assim cria um gargalo de "parar-e-esperar".

1. O Ciclo de Vida do Fluxo de Trabalho

Numa mentalidade assíncrona, o desenvolvedor não espera que cada tarefa termine. Em vez disso, eles alocam memória, lançam kernels, e copiam de volta resultados colocando solicitações não bloqueantes numa fila de hardware.

2. Superando Estagnações

Quando o host é obrigado a sincronizar depois de cada operação, a lacuna de execução—o tempo de viagem entre CPU e GPU—domina o desempenho. Ao utilizar assincronia, o CPU continua trabalhando enquanto o GPU processa sua stream, maximizando a saturação do hardware.

$$\text{Tempo Total} = \max(\text{Trabalho do CPU}, \text{Trabalho do GPU}) + \text{Carga de Sincronização}$$